Hadoop集群进行map词频统计
一、首先新建虚拟机二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP 2.1、修改静态IP输入指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改BOOTPROTO=static 增加IPADDR、NETWASK、GATEWAY、DNS1..
Spark RDD 论文详解（三）Spark 编程接口
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark RDD 论文详解（一）摘要和介绍Spark RDD 论文详解（二）RDDsSpark RDD
使用 Spark GraphX 实现 PageRank 算法
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系关联Spark RDD 论文详解（三）Spark 编程接口正文简介GraphX 提供了静态和动态 PageRa
【Spark】Spark对数据的读入和写出操作
Spark对数据的读入和写出操作数据存储在文件中CSV类型文件JSON类型文件Parquet操作分区操作数据存储在Hive表中数据存储在MySQL中数据存储在文件中在操作文件前，我们应该先创建一个SparkSession val spark = SparkSession.builder()
分布式计算模式：Stream
分布式计算模式：Stream前言什么是 Stream？Stream 工作原理Storm 的工作原理知识扩展：流计算和批量计算的区别是什么？总结前言分布式计算模式中的 MapReduce 模式的核心思想是，将大任务拆分成多个小任务，针对这些小任务分别计算后，再合并各小任务的结果 以得到大任务的计算结果
大数据实训
计算机专业大数据实训怎么做？学大数据为什么要做实训如何高效做好大数据实训一、细心且认真二、认真思考，动手操作三、独立解决出现的问题四、养成好习惯大数据实训的意义个人发展找工作时的优势学大数据为什么要做实训当我们学完大数据课程后，知道了大数据的基本理论，学了大数据理论知识不等于会大数据技术，就如同学武
【参赛作品78】参加openGauss课程21天学习有感
21天坚持学习openGauss数据库课程，可以说收获满满，课程内容丰富，练习方便，对于新手来说，非常友好。
1.HDFS基础知识
HDFS基础知识
浅谈什么是大数据
浅谈什么是大数据有人可能发现了，我这个专栏写的就是大数据，所以我们一起来谈谈大数据。大数据概念百度百科：对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。主要解决的
zookeeper
关于zookeeper的一些小总结
Elasticsearch CRUD RestAPI
Elasticsearch CRUD RestAPI
大数据开发软件安装篇之VMWare安装、CentOS7配置（一站式安装，图文详解）
VMWare，虚拟化环境的“傻瓜式”安装VM 右上角编辑安装虚拟机CentOS 7 64位选择版本15或16选择“稍后安装操作系统”虚拟机名称 baseNodeNET VM8Windows 中查看网络配置 虚拟网卡内存给100G到这里我们就已经将虚拟化环境VMWare以及CentOS 7 64位就已
